研究人员|积木_深度学习框架介绍

篇首语：本文由编程笔记#小编为大家整理，主要介绍了深度学习框架介绍相关的知识，希望对你有一定的参考价值。

在开始深度学习项目之前&＃xff0c;选择一个合适的框架是非常重要的&＃xff0c;因为选择一个合适的框架能起到事半功倍的作用。研究者们使用各种不同的框架来达到他们的研究目的&＃xff0c;侧面印证出深度学习领域百花齐放。全世界最为流行的深度学习框架有以下&＃xff0c;欢迎补充。

1. PaddlePaddle

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础&＃xff0c;是中国首个自主研发、功能完备、开源开放的产业级深度学习平台&＃xff0c;集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体。目前&＃xff0c;飞桨已凝聚超过265万开发者&＃xff0c;服务企业10万家&＃xff0c;基于飞桨开源深度学习平台产生了34万个模型 。飞桨助力开发者快速实现AI想法&＃xff0c;快速上线AI业务。帮助越来越多的行业完成AI赋能&＃xff0c;实现产业智能化升级。

• 飞桨在业内率先实现了动静统一的框架设计&＃xff0c;兼顾灵活性与高性能&＃xff0c;并提供一体化设计的高层API和基础API&＃xff0c;确保用户可以同时享受开发的便捷性和灵活性。
• 在大规模分布式训练技术上&＃xff0c;飞桨率先支持了千亿稀疏特征、万亿参数、数百节点并行训练的能力&＃xff0c;并推出业内首个通用异构参数服务器架构&＃xff0c;达到国际领先水平。
• 飞桨拥有强大的多端部署能力&＃xff0c;支持云端服务器、移动端以及边缘端等不同平台设备的高速推理&＃xff1b;飞桨推理引擎支持广泛的AI芯片&＃xff0c;已经适配和正在适配的芯片或IP达到29款&＃xff0c;处于业界领先地位。
• 飞桨围绕企业实际研发流程量身定制打造了大规模的官方模型库&＃xff0c;算法总数达到270多个&＃xff0c;服务企业遍布能源、金融、工业、农业等多个领域。

1.1. 主要维护方&＃xff1a;

Baidu

1.2. 支持的语言&＃xff1a;

C&＃43;&＃43;/Python

1.3. 源码地址&＃xff1a;

https://github.com/PaddlePaddle/Paddle/

1.4. 基本介绍

飞桨&＃xff08;PaddlePaddle&＃xff09;以百度多年的深度学习技术研究和业务应用为基础&＃xff0c;集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体&＃xff0c;是中国首个自主研发、功能完备、开源开放的产业级深度学习平台。
IDC发布的2021年上半年深度学习框架平台市场份额报告显示&＃xff0c;百度跃居中国深度学习平台市场综合份额第一。百度飞桨汇聚开发者数量达370万&＃xff0c;服务 14 万企事业单位&＃xff0c;产生了42.5 万个模型。 飞桨助力开发者快速实现AI想法&＃xff0c;高效上线AI业务&＃xff0c;帮助越来越多的行业完成AI赋能&＃xff0c;实现产业智能化升级。

2. Tensorflow

TensorFlo是一个基于数据流编程&＃xff08;dataflow programming&＃xff09;的符号数学系统&＃xff0c;被广泛应用于各类机器学习&＃xff08;machine learning&＃xff09;算法的编程实现&＃xff0c;其前身是谷歌的神经网络算法库DistBelief。

Tensorflow拥有多层级结构&＃xff0c;可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算&＃xff0c;被广泛应用于谷歌内部的产品开发和各领域的科学研究。

TensorFlow由谷歌人工智能团队谷歌大脑&＃xff08;Google Brain&＃xff09;开发和维护&＃xff0c;拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类应用程序接口&＃xff08;Application Programming Interface, API&＃xff09;。自2015年11月9日起&＃xff0c;TensorFlow依据阿帕奇授权协议&＃xff08;Apache 2.0 open source license&＃xff09;开放源代码

Google 开源的Tensorflow是一款使用C&＃43;&＃43;语言开发的开源数学计算软件&＃xff0c;使用数据流图(Data Flow Graph)的形式进行计算。图中的节点代表数学运算&＃xff0c;而图中的线条表示多维数据数组(tensor)之间的交互。Tensorflow灵活的架构可以部署在一个或多个CPU、GPU的台式及服务器中&＃xff0c;或者使用单一的API应用在移动设备中。Tensorflow最初是由研究人员和Google Brain 团队针对机器学习和深度神经网络进行研究而开发&＃xff0c;开源之后几乎可以在各个领域适用。

Tensorflow是全世界使用人数最多、社区最为庞大的一个框架&＃xff0c;因为Google公司出品&＃xff0c;所以维护与更新比较频繁&＃xff0c;并且有着Python和C&＃43;&＃43;的接口&＃xff0c;教程也非常完善&＃xff0c;同时很多论文复现的第一个版本都是基于Tensorflow写的&＃xff0c;所以是深度学习界框架默认的老大。

2.1. 主要维护方&＃xff1a;

Google

2.2. 支持的语言&＃xff1a;

C&＃43;&＃43;/Python/Java/R 等

2.3. 源码地址

https://github.com/tensorflow/tensorflow

2.4. 基本介绍

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vwzqzDBM-1650724164143)(2Tensorflow.png)]

谷歌的TensorFlow可以说是当今最受欢迎的开源深度学习框架&＃xff0c;可用于各类深度学习相关的任务中。TensorFlow &＃61; Tensor &＃43; Flow&＃xff0c;Tensor就是张量&＃xff0c;代表N维数组&＃xff1b;Flow即流&＃xff0c;代表基于数据流图的计算。

TensorFlow是目前深度学习的主流框架&＃xff0c;其主要特性如下所述。

• TensorFlow支持Python、Javascript、C &＃43;&＃43;、Java、Go、C&＃xff03;、Julia和R等多种编程语言。
• TensorFlow不仅拥有强大的计算集群&＃xff0c;还可以在ios和android等移动平台上运行模型。
• TensorFlow编程入门难度较大。初学者需要仔细考虑神经网络的架构&＃xff0c;正确评估输入和输出数据的维度和数量。
• TensorFlow使用静态计算图进行操作。也就是说&＃xff0c;我们需要先定义图形&＃xff0c;然后运行计算&＃xff0c;如果我们需要对架构进行更改&＃xff0c;则需要重新训练模型。选择这样的方法是为了提高效率&＃xff0c;但是许多现代神经网络工具已经能够在学习过程中改进&＃xff0c;并且不会显著降低学习速度。在这方面&＃xff0c;TensorFlow的主要竞争对手是PyTorch。

学习地址&＃xff1a;

• https://tensorflow.rstudio.com/tensorflow/
• https://github.com/rstudio/tensorflow

3. Caffe

和Tensorflow名气一样大的是深度学习框架Caffe&＃xff0c;由加州大学伯克利的Phd贾扬清开发&＃xff0c;全称是Convolutional Architecture for Fast Feature Embedding&＃xff0c;是一个清晰而高效的开源深度学习框架&＃xff0c;由伯克利视觉中心(Berkeley Vision and Learning Center&＃xff0c;BVLC)进行维护。

从它的名字就可以看出其对于卷积网络的支持特别好&＃xff0c;同时也是用C&＃43;&＃43;写的&＃xff0c;提供的C&＃43;&＃43;接口&＃xff0c;也提供了matlab接口和python接口。

Caffe之所以流行&＃xff0c;是因为之前很多ImageNet比赛里面使用的网络都是用Caffe写的&＃xff0c;所以如果你想使用这些比赛的网络模型就只能使用Caffe&＃xff0c;这也就导致了很多人直接转到Caffe这个框架下面。

Caffe的缺点是不够灵活&＃xff0c;同时内存占用高&＃xff0c;Caffe的升级版本Caffe2已经开源了&＃xff0c;修复了一些问题&＃xff0c;同时工程水平得到了进一步提高。

3.1. 主要维护方&＃xff1a;

BVLC

3.2. 支持的语言&＃xff1a;

C&＃43;&＃43;/Python/Matlab

3.3. 源码地址&＃xff1a;

https://github.com/BVLC/caffe

3.4. 基本介绍

Caffe是由AI科学家贾扬清在加州大学伯克利分校读博期间主导开发的&＃xff0c;是以C&＃43;&＃43;/CUDA代码为主的早期深度学习框架之一&＃xff0c;比TensorFlow、MXNet、PyTorch等都要早。Caffe需要进行编译安装&＃xff0c;支持命令行、Python和Matlab接口&＃xff0c;单机多卡、多机多卡等都可以很方便使用。

Caffe的基本特性如下。

• 以C&＃43;&＃43;/CUDA/Python代码为主&＃xff0c;速度快&＃xff0c;性能高。
• 工厂设计模式&＃xff0c;代码结构清晰&＃xff0c;可读性和可拓展性强。
• 支持命令行、Python和Matlab接口&＃xff0c;使用方便。
• CPU和GPU之间切换方便&＃xff0c;多GPU训练方便。
• 工具丰富&＃xff0c;社区活跃。

同时&＃xff0c;Caffe的缺点也比较明显&＃xff0c;主要包括如下几点。

• 源代码修改门槛较高&＃xff0c;需要实现正向/反向传播。
• 不支持自动求导。
• 不支持模型级并行&＃xff0c;只支持数据级并行。
• 不适合非图像任务。

虽然Caffe已经提供了Matlab和Python接口&＃xff0c;但目前不支持R语言。caffeR为Caffe提供了一系列封装功能&＃xff0c;允许用户在R语言上运行Caffe&＃xff0c;包括数据预处理和网络设置&＃xff0c;以及监控和评估训练过程。该包还没有CRAN版本&＃xff0c;感兴趣的读者可以在GitHub找到caffeR包的安装及使用的相关内容。

https://github.com/cnaumzik/caf

4. Theano

Theano于2008年诞生于蒙特利尔理工学院&＃xff0c;其派生出了大量的深度学习Python软件包&＃xff0c;最著名的包括Blocks和Keras。Theano的核心是一个数学表达式的编译器&＃xff0c;它知道如何获取你的结构&＃xff0c;并使之成为一个使用numpy、高效本地库的高效代码&＃xff0c;如BLAS和本地代码(C&＃43;&＃43;)在CPU或GPU上尽可能快地运行。它是为深度学习中处理大型神经网络算法所需的计算而专门设计&＃xff0c;是这类库的首创之一(发展始于2007年)&＃xff0c;被认为是深度学习研究和开发的行业标准。

但是开发Theano的研究人员大多去了Google参与Tensorflow的开发&＃xff0c;所以&＃xff0c;某种程度来讲Tensorflow就像Theano的孩子。

4.1. 主要维护方&＃xff1a;

UdeM

4.2. 支持的语言&＃xff1a;

Python

4.3. 源码地址&＃xff1a;

https://github.com/Theano/Theano

4.4. 基本介绍

Theano是在BSD许可证下发布的一个开源项目&＃xff0c;诞生于加拿大魁北克蒙特利尔大学的LISA实验室&＃xff0c;是用一位希腊数学家的名字命名的。

Theano是一个Python库&＃xff0c;可用于定义、优化和计算数学表达式&＃xff0c;特别是多维数组&＃xff08;numpy.ndarray&＃xff09;。在解决包含大量数据的问题时&＃xff0c;使用Theano可实现比手写C 语言更快的编程速度。 而通过GPU加速&＃xff0c;Theano甚至可以比基于CPU计算的C语言快上好几个数量级。

Theano结合了计算机代数系统&＃xff08;Computer Algebra System&＃xff0c;CAS&＃xff09;和优化编译器&＃xff0c;还可以为多种数学运算生成定制的C语言代码。对于包含重复计算的复杂数学表达式任务&＃xff0c;计算速度很重要&＃xff0c;因此这种CAS和优化编译器的组合是很有用的。

对于需要将每种不同数学表达式都计算一遍的情况&＃xff0c;Theano能够实现编译/解析计算量的最小化&＃xff0c;但仍然会给出如自动微分那样的符号特征。

在过去很长一段时间内&＃xff0c;Theano是深度学习开发与研究的行业标准。而且由于诞生于学界&＃xff0c;Theano最初是为学术研究而设计的&＃xff0c; 深度学习领域的许多学者至今仍在使用Theano。

但随着TensorFlow在谷歌的支持下强势崛起&＃xff0c;Theano日渐式微&＃xff0c;使用的人越来越少。在这个过程中标志性事件是&＃xff1a;Theano创始者之一Ian Goodfellow放弃Theano转去谷歌开发TensorFlow了。

2017年9月28日&＃xff0c;在Theano 1.0正式版发布前夕&＃xff0c;LISA实验室负责人、深度学习三巨头之一的 Yoshua Bengio宣布Theano将停止继续开发&＃xff1a;“Theano is Dead.”

尽管Theano正慢慢退出历史舞台&＃xff0c;但作为第一个Python深度学习框架&＃xff0c;Theano很好地完成了自己的使命&＃xff0c;为深度学习研究人员早期拓荒提供了极大的帮助&＃xff0c;同时也为之后深度学习框架的开发奠定了基本设计方向&＃xff1a;以计算图为框架的核心&＃xff0c;采用GPU加速计算。

5. MXNet

MXNet的主要作者是李沐&＃xff0c;最早就是几个人抱着纯粹对技术和开发的热情做起来的&＃xff0c;如今成了亚马逊的官方框架&＃xff0c;有着非常好的分布式支持&＃xff0c;而且性能特别好&＃xff0c;占用显存低&＃xff0c;同时其开发的语言接口不仅仅有Python和C&＃43;&＃43;&＃xff0c;还有R&＃xff0c;Matlab&＃xff0c;Scala&＃xff0c;Javascript&＃xff0c;等等&＃xff0c;可以说能够满足使用任何语言的人。

但是MXNet的缺点也很明显&＃xff0c;教程不够完善&＃xff0c;使用的人不多导致社区不大&＃xff0c;同时每年很少有比赛和论文是基于MXNet实现的&＃xff0c;这就使得MXNet的推广力度和知名度不高。

5.1. 主要维护方&＃xff1a;

DMLC

5.2. 支持的语言&＃xff1a;

C&＃43;&＃43;/Python/R等

5.3. 源码地址&＃xff1a;

https://github.com/apache/incubator-mxnet

5.4. 基本介绍

MXNet框架允许混合符号和命令式编程&＃xff0c;以最大限度地提高效率和生产力。MXNet的核心是一个动态依赖调度程序&＃xff0c;可以动态地自动并行化符号和命令操作。其图形优化层使符号执行更快&＃xff0c;内存效率更高。

MXNet的基本特性如下。

• 灵活的编程模型&＃xff1a;支持命令式和符号式编程模型。
• 多语言支持&＃xff1a;支持C&＃43;&＃43;、Python、R、Julia、Javascript、Scala、Go、Perl等。事实上&＃xff0c;它是唯一支持所有R函数的构架。
• 本地分布式训练&＃xff1a;支持在多CPU/GPU设备上的分布式训练&＃xff0c;使其可充分利用云计算的规模优势。
• 性能优化&＃xff1a;使用一个优化的C&＃43;&＃43;后端引擎实现并行I/O和计算&＃xff0c;无论使用哪种语言都能达到最佳性能。
• 云端友好&＃xff1a;可直接与S3、HDFS和Azure兼容。

ONNX&＃xff08;Open Neural Network eXchange&＃xff0c;开放神经网络交换&＃xff09;项目由微软、亚马逊、Facebook和IBM等公司共同开发&＃xff0c;旨在寻找呈现开放格式的深度学习模型。ONNX简化了在人工智能不同工作方式之间传递模型的过程&＃xff0c;具有各种深度学习框架的优点。

ONNX的基本特性如下。

• ONNX使模型能够在一个框架中进行训练并转移到另一个框架中进行预测。
• ONNX模型目前在Caffe2、CNTK、MXNet和PyTorch中得到支持&＃xff0c;并且还有与其他常见框架和库的连接器。

onnx-r包提供了R与ONNX的API接口。感兴趣的读者可以通过以下网址进行学习。

• http://onnx.ai/onnx-r/
• https://github.com/onnx/onnx-r

6. Torch

Torch是一个有大量机器学习算法支持的科学计算框架&＃xff0c;其诞生已有十年之久&＃xff0c;但是真正起势得益于Facebook开源了大量Torch的深度学习模块和扩展。Torch的特点在于特别灵活&＃xff0c;但是另一个特殊之处是采用了编程语言Lua&＃xff0c;在深度学习大部分以Python为编程语言的大环境之下&＃xff0c;一个以Lua为编程语言的框架有着更多的劣势&＃xff0c;这一项小众的语言增加了学习使用Torch这个框架的成本。

7. PyTorch

PyTorch的前身便是Torch&＃xff0c;其底层和Torch框架一样&＃xff0c;但是使用Python重新写了很多内容&＃xff0c;不仅更加灵活&＃xff0c;支持动态图&＃xff0c;而且提供了Python接口。它是由Torch7团队开发&＃xff0c;是一个以Python优先的深度学习框架&＃xff0c;不仅能够实现强大的GPU加速&＃xff0c;同时还支持动态神经网络&＃xff0c;这是很多主流深度学习框架比如Tensorflow等都不支持的。
PyTorch既可以看作加入了GPU支持的numpy&＃xff0c;同时也可以看成一个拥有自动求导功能的强大的深度神经网络。除了Facebook外&＃xff0c;它已经被Twitter、CMU和Salesforce等机构采用。

7.1. 主要维护方&＃xff1a;

Facebook

7.2. 支持的语言&＃xff1a;

C/C&＃43;&＃43;/Python

7.3. 源码地址&＃xff1a;

https://github.com/pytorch/pytorch

7.4. 基本介绍&＃xff1a;

PyTorch是Facebook团队于2017年1月发布的一个深度学习框架&＃xff0c;虽然晚于TensorFlow、Keras等框架&＃xff0c;但自发布之日起&＃xff0c;其受到的关注度就在不断上升&＃xff0c;目前在GitHub上的热度已经超过Theano、Caffe、MXNet等框架。

PyTroch主要提供以下两种核心功能&＃xff1a;

• 支持GPU加速的张量计算&＃xff1b;
• 方便优化模型的自动微分机制。

PyTorch的主要优点如下。

• 简洁易懂&＃xff1a;PyTorch的API设计相当简洁一致&＃xff0c;基本上是tensor、autograd、nn三级封装&＃xff0c;学习起来非常容易。
• 便于调试&＃xff1a;PyTorch采用动态图&＃xff0c;可以像普通Python代码一样进行调试。不同于TensorFlow&＃xff0c;PyTorch的报错说明通常很容易看懂。
• 强大高效&＃xff1a;PyTorch提供了非常丰富的模型组件&＃xff0c;可以快速实现想法。

8. CNTK

来自微软公司的CNTK工具包的效率&＃xff0c;“比我们所见过的都要疯狂”。 这部分归功于CNTK可借助图形处理单元&＃xff08;GPU&＃xff09;的能力&＃xff0c;微软自称是唯一公开“可扩展GPU”功能的公司。&＃xff08;从单机上的1个、延伸至超算上的多个&＃xff09; 在与该公司的网络化GPU系统&＃xff08;称之为Azure GPU Lab&＃xff09;匹配之后&＃xff0c;它将能够训练深度神经网络来识别语音&＃xff0c;让Cortana虚拟助理的速度达到以前的十倍。 去年4月的时候&＃xff0c;CNTK就已经面向研究人员开放&＃xff0c;只是当时的开源授权限制颇多。不过现在&＃xff0c;它已经彻底开放了&＃xff0c;而深度学习的初创者们将最为受益。

微软认知工具包 ( https://cntk.ai) 是一个统一的深度学习工具包&＃xff0c;它通过有向图将神经网络描述为一系列计算步骤。在这个有向图中&＃xff0c;叶节点表示输入值或网络参数&＃xff0c;而其他节点表示对其输入的矩阵运算。CNTK 允许用户轻松实现和组合流行的模型类型&＃xff0c;例如前馈 DNN、卷积网络 (CNN) 和循环网络 (RNN/LSTM)。它通过跨多个 GPU 和服务器的自动微分和并行化实现随机梯度下降&＃xff08;SGD&＃xff0c;误差反向传播&＃xff09;学习。CNTK 自 2015 年 4 月起在开源许可下可用。我们希望社区能够利用 CNTK 通过交换开源工作代码更快地分享想法。

8.1. 主要维护方&＃xff1a;

Microsoft

8.2. 支持的语言&＃xff1a;

C&＃43;&＃43;/Python/C#/.NET/Java/R

8.3. 源码地址&＃xff1a;

https://github.com/Microsoft/CNTK

8.4. 基本介绍

CNTK&＃xff08;Microsoft Cognitive Toolkit&＃xff09;是微软开源的深度学习工具包&＃xff0c;它通过有向图将神经网络描述为一系列计算步骤。在有向图中&＃xff0c;叶节点表示输入值或网络参数&＃xff0c;其他节点表示其输入上的矩阵运算。

CNTK允许用户非常轻松地实现和组合流行的模型&＃xff0c;包括前馈神经网络&＃xff08;DNN&＃xff09;、卷积神经网络&＃xff08;CNN&＃xff09;和循环神经网络&＃xff08;RNN、LSTM&＃xff09;。与目前大部分框架一样&＃xff0c;CNTK实现了自动求导&＃xff0c;利用随机梯度下降方法进行优化。

CNTK的基本特性如下。

• CNTK性能较好&＃xff0c;按照其官方的说法&＃xff0c;它比其他的开源框架性能都要好。
• 适合做语音任务&＃xff0c;CNTK本就是微软语音团队开源的&＃xff0c;自然更适合做语音任务&＃xff0c;便于在使用RNN等模型以及时空尺度时进行卷积。

微软开发的CNTK-R包提供了R与CNTK的API接口。感兴趣的读者可以通过以下网址进行学习。

• https://github.com/microsoft/CNTK-R
• https://microsoft.github.io/CNTK-R/

9. Keras

9.1. 主要维护方&＃xff1a;

Google

9.2. 支持的语言&＃xff1a;

Python/R

9.3. 源码地址

https://github.com/keras-team/keras

应用优势

深度学习框架的出现降低了入门的门槛&＃xff0c;你不需要从复杂的神经网络开始编代码&＃xff0c;你可以根据需要选择已有的模型&＃xff0c;通过训练得到模型参数&＃xff0c;你也可以在已有模型的基础上增加自己的layer&＃xff0c;或者是在顶端选择自己需要的分类器和优化算法&＃xff08;比如常用的梯度下降法&＃xff09;。当然也正因如此&＃xff0c;没有什么框架是完美的&＃xff0c;就像一套积木里可能没有你需要的那一种积木&＃xff0c;所以不同的框架适用的领域不完全一致。 总的来说深度学习框架提供了一些列的深度学习的组件&＃xff08;对于通用的算法&＃xff0c;里面会有实现&＃xff09;&＃xff0c;当需要使用新的算法的时候就需要用户自己去定义&＃xff0c;然后调用深度学习框架的函数接口使用用户自定义的新算法。